This paper studies the problem of designing compact binary architectures for vision multi-layer perceptrons (MLPs). We provide extensive analysis on the difficulty of binarizing vision MLPs and find that previous binarization methods perform poorly due to limited capacity of binary MLPs. In contrast with the traditional CNNs that utilizing convolutional operations with large kernel size, fully-connected (FC) layers in MLPs can be treated as convolutional layers with kernel size $1\times1$. Thus, the representation ability of the FC layers will be limited when being binarized, and places restrictions on the capability of spatial mixing and channel mixing on the intermediate features. To this end, we propose to improve the performance of binary MLP (BiMLP) model by enriching the representation ability of binary FC layers. We design a novel binary block that contains multiple branches to merge a series of outputs from the same stage, and also a universal shortcut connection that encourages the information flow from the previous stage. The downsampling layers are also carefully designed to reduce the computational complexity while maintaining the classification performance. Experimental results on benchmark dataset ImageNet-1k demonstrate the effectiveness of the proposed BiMLP models, which achieve state-of-the-art accuracy compared to prior binary CNNs. The MindSpore code is available at \url{https://gitee.com/mindspore/models/tree/master/research/cv/BiMLP}.

提示方法被认为是几次自然语言处理的关键进展之一。最近对基于离散令牌的``硬提示''转移到连续``软提示''的最新研究，这些提示将可学习的向量用作伪提示代币并实现更好的性能。尽管显示出有希望的前景，但观察到这些软宣传的方法在很大程度上依赖良好的初始化来生效。不幸的是，获得软提示的完美初始化需要了解内在语言模型的工作和精心设计，这绝非易事，必须从头开始重新启动每个新任务。为了解决此问题，我们提出了一种称为Metaprompting的广义软提示方法，该方法采用了良好认可的模型 - 静态元学习算法，以自动找到更好的及时初始化，从而快速适应新的促进任务。问题并在四个不同的数据集上带来了显着改善（1次设置的准确性提高了6分），从而实现了新的最新性能。

区分计算机生成（CG）和自然摄影图像（PG）图像对于验证数字图像的真实性和独创性至关重要。但是，最近的尖端生成方法使CG图像中的合成质量很高，这使得这项具有挑战性的任务变得更加棘手。为了解决这个问题，提出了具有深层质地和高频特征的联合学习策略，以进行CG图像检测。我们首先制定并深入分析CG和PG图像的不同采集过程。基于这样的发现，即图像采集中的多个不同模块将导致对图像中基于卷积神经网络（CNN）渲染的不同敏感性不一致，我们提出了一个深层纹理渲染模块，以增强纹理差异和歧视性纹理表示。具体而言，生成语义分割图来指导仿射转换操作，该操作用于恢复输入图像不同区域中的纹理。然后，原始图像和原始图像和渲染图像的高频组件的组合被馈入配备了注意机制的多支球神经网络，该神经网络分别优化了中间特征，并分别促进了空间和通道维度的痕量探索。在两个公共数据集和一个具有更现实和多样化图像的新构建的数据集上进行的广泛实验表明，所提出的方法的表现优于现有方法，从而明确的余量。此外，结果还证明了拟议方法后处理操作和生成对抗网络（GAN）生成的图像的检测鲁棒性和泛化能力。

本文研究了重量和激活都将二进制神经网络（BNN）二进制为1位值，从而大大降低了记忆使用率和计算复杂性。由于现代深层神经网络具有复杂的设计，具有复杂的架构，其准确性，因此权重和激活分布的多样性非常高。因此，传统的符号函数不能很好地用于有效地在BNN中进行全精度值。为此，我们提出了一种称为Adabin的简单而有效的方法，可自适应获得最佳的二进制集$ \ {b_1，b_2 \} $（$ b_1，b_1，b_2 \ in \ mathbb {r} $）的重量和激活而不是固定集（即$ \ { - 1，+1 \} $）。通过这种方式，提出的方法可以更好地拟合不同的分布，并提高二进制特征的表示能力。实际上，我们使用中心位置和1位值的距离来定义新的二进制量化函数。对于权重，我们提出了一种均衡方法，将对称分布的对称中心与实价分布相对，并最大程度地减少它们的kullback-leibler差异。同时，我们引入了一种基于梯度的优化方法，以获取这两个激活参数，这些参数以端到端的方式共同训练。基准模型和数据集的实验结果表明，拟议的Adabin能够实现最新性能。例如，我们使用RESNET-18体系结构在Imagenet上获得66.4 \％TOP-1的精度，并使用SSD300获得了Pascal VOC的69.4映射。

训练深图神经网络（GNNS）构成了一项具有挑战性的任务，因为GNN的性能可能会遭受隐藏的消息层的数量。文献集中在过度平滑和了解深度GNN的性能恶化的建议上。在本文中，我们提出了一种新的解释，以解决这种恶化的性能现象，即错误的简化，也就是说，通过防止自我浮动和强迫不得加权的边缘来简化图形。我们表明，这种简化可以降低消息通话层的潜力以捕获图的结构信息。鉴于此，我们提出了一个新的框架，Edge增强了图形神经网络（EEGNN）。 EEGNN使用从提出的Dirichlet混合泊松图模型（贝叶斯非参数模型）中提取的结构信息，以改善各种深度消息的GNN的性能。不同数据集的实验表明，与基准相比，我们的方法实现了可观的性能。

基于深度学习的水下图像增强（UIE）面临的主要挑战是地面真相高质量的图像是不可用的。大多数现有方法首先生成近似参考图，然后可以确定地训练增强网络。这种方法无法处理参考图的歧义。在本文中，我们将UIE解决为分布估计和共识过程。我们提出了一个新颖的概率网络，以了解退化的水下图像的增强分布。具体而言，我们将条件变异自动编码器与自适应实例归一化结合在一起，以构建增强分布。之后，我们采用共识过程来根据分布中的一组样本来预测确定性结果。通过学习增强分布，我们的方法可以在某种程度上应对参考图标记中引入的偏差。此外，共识过程对于捕获强大而稳定的结果很有用。我们在两个广泛使用的现实水下图像增强数据集上检查了提出的方法。实验结果表明，我们的方法可以对可能的增强预测进行抽样。同时，与最先进的UIE方法相比，共识估计会产生竞争性能。代码可在https://github.com/zhenqifu/puie-net上找到。

已经出现了许多变形金刚的改编，以解决单模式视觉任务，在该任务中，自我发项模块被堆叠以处理图像之类的输入源。直观地，将多种数据馈送到视觉变压器可以提高性能，但是内模式的专注权也可能会稀释，从而可能破坏最终性能。在本文中，我们提出了一种针对基于变压器的视力任务的多模式令牌融合方法（TokenFusion）。为了有效地融合多种方式，TokenFusion动态检测非信息令牌，并用投影和聚合的模式间特征将这些令牌替换为这些令牌。还采用了残留位置对准来实现融合后模式间比对的明确利用。 TokenFusion的设计使变压器能够学习多模式特征之间的相关性，而单模式变压器体系结构基本上保持完整。对各种均质和异构方式进行了广泛的实验，并证明TokenFusion在三个典型的视觉任务中超过了最新方法：多模式图像到图像到图像到图像转换，RGB深度语义分段和3D对象检测3D对象检测点云和图像。我们的代码可从https://github.com/yikaiw/tokenfusion获得。

Adder神经网络（Addernets）在图像分类上表现出令人印象深刻的性能，只有加法操作，比使用乘法建立的传统卷积神经网络更节能。与分类相比，对通过Addernets降低现代对象探测器的能耗的强烈需求，例如自主驾驶和面部检测。在本文中，我们提出了对物体检测的addernets的实证研究。我们首先揭示了预先训练的加法器骨架中的批量归一化统计，不应冻结，因为Addernets的相对较大的特征方差。此外，我们在颈部中插入更多的快捷方式连接，并设计一个新的特征融合架构，以避免加法器层的稀疏功能。我们展示了广泛的消融研究，探讨了加法器探测器的几种设计选择。与最先进的比较在Coco和Pascal VOC基准上进行。具体而言，所提出的加法器FCOS在Coco Val集上实现了37.8 \％AP，展示了卷积对应物的相当性能，具有约1.4倍的能量减少。

先前的视觉MLP，如MLP-MILER和RESMLP接受线性扁平的图像贴片作为输入，使其对不同的输入大小和难以捕获空间信息。这种方法隐瞒了MLP与基于变压器的对应物相比，并防止它们成为计算机视觉的一般骨干。本文介绍了Hire-MLP，通过\ TextBF {Hi} reachical \ TextBF {Re}排列，这是一个简单而竞争的愿景MLP架构，其中包含两个重排级别。具体地，提出内部区域重新排列以捕获空间区域内的局部信息，并且提出横区域重新排列以使不同区域之间的信息通信能够通过沿空间方向循环地转换所有令牌来实现不同区域之间的信息通信。广泛的实验证明了Hire-MLP作为各种视觉任务的多功能骨干的有效性。特别是，Hire-MLP在图像分类，对象检测和语义分割任务上实现竞争结果，例如，在Imagenet上的83.8％的前1个精度，51.7％盒AP和Coco Val2017上的44.8％掩模AP和Ade20k上的49.9％Miou ，超越以前的基于变压器和基于MLP的型号，具有更好的折衷以获得准确性和吞吐量。代码可在https://github.com/ggjy/hire-wave-mlp.pytorch获得。

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。